Amazon Aurora Optimized Reads 和 pgvector 如何協助你優化生成式AI應用程式效能
-
DIGITIMES
/
台北
- 2024-04-21 10:38:27
生成式AI應用程式正在重塑企業處理非結構化資料的方式。無論是文字、影像還是影音，生成式AI都能夠將這些資訊轉換成向量形式，捕捉其內在意義與上下文，進而實現高效的相似性比對與搜尋。而Amazon Aurora PostgreSQL相容版本搭配pgvector擴充功能，正是實現此一願景的絕佳利器。然而，隨著向量工作負載規模的不斷擴大，效能瓶頸亦逐漸浮現。Amazon Aurora Optimized Reads的推出，為生成式AI應用程式注入全新動能，讓pgvector在向量相似性搜尋的效能大幅提升，開啟生成式AI在企業應用的嶄新紀元。
生成式AI工作負載的效能痛點
生成式AI應用程式的核心在於大量文句預訓練產生的大語言模型，而其中對於文句的處理便需要向量嵌入模型，將這些文句轉變成向量資料做輸入。這些模型能夠將非結構化資料轉換成高維度向量，以數值形式表徵其內在意義。然而，這些高維度向量往往佔用龐大的記憶體空間，一旦超出資料庫執行個體的記憶體容量，就必須從磁碟系統讀取資料，從而導致效能嚴重下降。
舉例來說，Amazon Titan Embeddings G1 - Text嵌入模型所產生的向量維度高達1536 byte，每個向量約佔6KB空間。若要對10億個這樣的向量進行相似性搜尋，將需要將5.7TB的資料載入記憶體，對於大多數資料庫執行個體而言，這顯然是無法負荷的工作負載。
傳統的資料庫系統無法有效處理如此大規模的向量相似性搜尋需求，因此企業在建置生成式AI應用程式時，往往受到效能瓶頸的限制。
Optimized Reads助力pgvector HNSW索引飆升效能
Amazon Aurora Optimized Reads正是解決這一痛點的新功能，透過利用本地NVMe快取，大幅減少對網路儲存的存取，提升向量查詢效能。當搭配pgvector的HNSW (Hierarchical Navigable Small World)索引使用時，Optimized Reads展現出驚人的效能優勢。
在10億向量的基準測試中，使用Optimized Reads的執行個體平均提供4.1-9.3倍的每秒查詢數(QPS)改善，相較於傳統IVFFlat索引，HNSW索引的QPS甚至可達20倍之高。此外，每個查詢的成本比標準執行個體低75-80%，顯示出Optimized Reads不僅提升效能，更能為企業節省龐大成本。
靈活調整效能與成本，讓生成式AI應用程式更具經濟效益
Optimized Reads的優勢不僅止於效能提升，更為企業帶來靈活調整效能與成本的能力。由於Optimized Reads執行個體能夠在相同規格下大幅提升向量工作負載效能，因此企業可以先在現有資源上擴展工作負載，待需求增長時再考慮升級執行個體，避免過度投資。
此外，Optimized Reads提供更優化的價格/效能比，讓生成式AI應用程式更具經濟效益。在上述基準測試中，使用Optimized Reads的執行個體每百萬查詢成本僅為標準執行個體的20-25%，顯示出其卓越的成本效益。
Amazon Aurora 全面優化生成式AI工作負載效能
隨著生成式AI應用程式在企業中的普及，如何有效處理大規模向量工作負載將是關鍵所在。Amazon Aurora Optimized Reads與pgvector的強強聯手，為企業提供了高效能、經濟實惠的解決方案，助力生成式AI在各行各業中發揮最大潛能。
無論是電商產品目錄搜尋、知識庫增強生成(RAG)還是其他創新應用，Optimized Reads都能為企業帶來卓越的向量相似性搜尋效能，讓生成式AI的無限可能徹底釋放。
現在註冊AWS帳號，體驗 Amazon Aurora Optimized Reads 帶來的卓越效能！
